
# Загружаем библиотеки
import pandas as pd
from urllib.parse import urlencode
import requests
import numpy as np
import seaborn as sns
import datetime as dt
from scipy import stats as st
import math as mth
from datetime import date, datetime, timedelta
from matplotlib import pyplot as plt
from plotly import graph_objects as go
import plotly.express as px
import warnings
warnings.filterwarnings('ignore')


#Напишем функцию

def datasets (base_url, public_key):
    final_url = base_url + urlencode(dict(public_key=public_key))
    response = requests.get(final_url)
    download_url = response.json()['href']
    dataset = pd.read_csv(download_url)
    return dataset


#Выведим данные таблицы final_ab_participants
base_url = 'https://cloud-api.yandex.net/v1/disk/public/resources/download?'
public_key = 'https://disk.yandex.ru/d/nhGUR3ZkNIG4VA' 

final_ab_participants  = datasets (base_url, public_key)
final_ab_participants


#Выведим данные таблицы final_ab_events
base_url = 'https://cloud-api.yandex.net/v1/disk/public/resources/download?'
public_key = 'https://disk.yandex.ru/d/pgKgZ9lRp0Enwg'

final_ab_events  = datasets (base_url, public_key)
final_ab_events


#Выведим данные таблицы ab_project_marketing_events
base_url = 'https://cloud-api.yandex.net/v1/disk/public/resources/download?'
public_key = 'https://disk.yandex.ru/d/ZVC7GUYYckKnGQ'

ab_project_marketing_events  = datasets (base_url, public_key)
ab_project_marketing_events


#Выведим данные таблицы final_ab_new_users
base_url = 'https://cloud-api.yandex.net/v1/disk/public/resources/download?'
public_key = 'https://disk.yandex.ru/d/Qrto8Gerpu424g'

final_ab_new_users  = datasets (base_url, public_key)
final_ab_new_users


# Выведим основную информацию о датафреймах с помощью метода `info()`,`head()`,`describe()`,`shape`
# с помощью цикла
for data in [final_ab_events, 
             ab_project_marketing_events, 
             final_ab_new_users, 
             final_ab_participants]:
    display(data.head(), 
            data.info(), 
            data.describe().T, 
            data.shape)
    display('****************************************************')

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 440317 entries, 0 to 440316
Data columns (total 4 columns):
 #   Column      Non-Null Count   Dtype  
---  ------      --------------   -----  
 0   user_id     440317 non-null  object 
 1   event_dt    440317 non-null  object 
 2   event_name  440317 non-null  object 
 3   details     62740 non-null   float64
dtypes: float64(1), object(3)
memory usage: 13.4+ MB

None

(440317, 4)

'****************************************************'

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 14 entries, 0 to 13
Data columns (total 4 columns):
 #   Column     Non-Null Count  Dtype 
---  ------     --------------  ----- 
 0   name       14 non-null     object
 1   regions    14 non-null     object
 2   start_dt   14 non-null     object
 3   finish_dt  14 non-null     object
dtypes: object(4)
memory usage: 576.0+ bytes

None

(14, 4)

'****************************************************'

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 61733 entries, 0 to 61732
Data columns (total 4 columns):
 #   Column      Non-Null Count  Dtype 
---  ------      --------------  ----- 
 0   user_id     61733 non-null  object
 1   first_date  61733 non-null  object
 2   region      61733 non-null  object
 3   device      61733 non-null  object
dtypes: object(4)
memory usage: 1.9+ MB

None


final_ab_events['event_dt']= pd.to_datetime(final_ab_events['event_dt'], format = '%Y-%m-%d')
ab_project_marketing_events ['start_dt']= pd.to_datetime(ab_project_marketing_events ['start_dt'], format = '%Y-%m-%d')
ab_project_marketing_events ['finish_dt']= pd.to_datetime(ab_project_marketing_events ['finish_dt'], format = '%Y-%m-%d')
final_ab_new_users['first_date']= pd.to_datetime(final_ab_new_users['first_date'], format = '%Y-%m-%d')


for data in [final_ab_events, 
             ab_project_marketing_events, 
             final_ab_new_users]:
    display(data.info())
    display('****************************************************')

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 440317 entries, 0 to 440316
Data columns (total 4 columns):
 #   Column      Non-Null Count   Dtype         
---  ------      --------------   -----         
 0   user_id     440317 non-null  object        
 1   event_dt    440317 non-null  datetime64[ns]
 2   event_name  440317 non-null  object        
 3   details     62740 non-null   float64       
dtypes: datetime64[ns](1), float64(1), object(2)
memory usage: 13.4+ MB

None

'****************************************************'

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 14 entries, 0 to 13
Data columns (total 4 columns):
 #   Column     Non-Null Count  Dtype         
---  ------     --------------  -----         
 0   name       14 non-null     object        
 1   regions    14 non-null     object        
 2   start_dt   14 non-null     datetime64[ns]
 3   finish_dt  14 non-null     datetime64[ns]
dtypes: datetime64[ns](2), object(2)
memory usage: 576.0+ bytes

None

'****************************************************'

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 61733 entries, 0 to 61732
Data columns (total 4 columns):
 #   Column      Non-Null Count  Dtype         
---  ------      --------------  -----         
 0   user_id     61733 non-null  object        
 1   first_date  61733 non-null  datetime64[ns]
 2   region      61733 non-null  object        
 3   device      61733 non-null  object        
dtypes: datetime64[ns](1), object(3)
memory usage: 1.9+ MB

None

'****************************************************'


for data in [final_ab_events, 
             ab_project_marketing_events, 
             final_ab_new_users,
            final_ab_participants]:
    display(data.duplicated().sum(), data.isna().sum())
    display('****************************************************')

0

user_id            0
event_dt           0
event_name         0
details       377577
dtype: int64

'****************************************************'

0

name         0
regions      0
start_dt     0
finish_dt    0
dtype: int64

'****************************************************'

0

user_id       0
first_date    0
region        0
device        0
dtype: int64

'****************************************************'

0


display(final_ab_events['details'].value_counts())
display(final_ab_events['event_name'].value_counts())

4.99      46362
9.99       9530
99.99      5631
499.99     1217
Name: details, dtype: int64

login           189552
product_page    125563
purchase         62740
product_cart     62462
Name: event_name, dtype: int64


final_ab_events['details'] = final_ab_events['details'].fillna(0)


# Проверим
final_ab_events.isna().sum()

user_id       0
event_dt      0
event_name    0
details       0
dtype: int64


ab_project_marketing_events[np.logical_and(ab_project_marketing_events['start_dt'] > '2020-12-07', \
                                           ab_project_marketing_events['finish_dt'] < '2021-04-01')]


#Посмотрим распределение пользователей по тестам и по группам
final_ab_participants.groupby(['ab_test', 'group']).agg({'user_id': 'nunique'}).reset_index()


#проверим соответствие дат регистрации техническому заданию
print('Минимальная дата:',  final_ab_new_users['first_date'].min())
print('Максимальная дата:', final_ab_new_users['first_date'].max())

Минимальная дата: 2020-12-07 00:00:00
Максимальная дата: 2020-12-23 00:00:00


# Создадим датафрэйм только у теми пользователеми, которые были зарегистрованы на тест в это промежуток

final_ab_new_users = final_ab_new_users.query ('first_date <="2020-12-21"')
final_ab_new_users['first_date'].max()

Timestamp('2020-12-21 00:00:00')


print('Минимальная дата:',  final_ab_events['event_dt'].min())
print('Максимальная дата:',  final_ab_events['event_dt'].max())

Минимальная дата: 2020-12-07 00:00:33
Максимальная дата: 2020-12-30 23:36:33


print('Количество новых пользователей', final_ab_new_users['first_date'].count())
print('Количество пользователей, участвующих в тесте', final_ab_participants['user_id'].nunique())

Количество новых пользователей 56470
Количество пользователей, участвующих в тесте 16666


# Объеденим таблицы методом merge по user_id
users = final_ab_participants.merge(final_ab_new_users, on = 'user_id', how = 'left').dropna()
users.shape

(17266, 6)


print('Пользователи из Европы, принявшие участие в тесте',\
      len(users.query('ab_test == "recommender_system_test" and region == "EU"')))
print('Всего зарегистрировалось пользователей из Европы',len(final_ab_new_users.query('region == "EU"')))
print('Процент пользователей из Европы, принявших участие в тесте', len(users.query('ab_test == "recommender_system_test" and region == "EU"'))\
      /len(final_ab_new_users.query('region == "EU"'))*100)

Пользователи из Европы, принявшие участие в тесте 6351
Всего зарегистрировалось пользователей из Европы 42340
Процент пользователей из Европы, принявших участие в тесте 15.0


# Сгруппируем данные по пользователю и группе

dupl_user = users.groupby('user_id', as_index=False).agg({'ab_test': 'nunique'})
#dupl_user.columns = ['user_id', 'group', 'count']
# Сделаем сред по количеству 
dupl_user = dupl_user.query('ab_test > 1').sort_values(by='user_id')
print('Количество пользователей, которые участвовали в двух тестах {} или {:.1%}'
      .format(dupl_user['user_id'].count(), dupl_user['user_id'].count()/final_ab_participants['user_id'].count()))

Количество пользователей, которые участвовали в двух тестах 1602 или 8.8%


dupl_user.head(3)


# Перепроверим любого пользователя на участие в друх выборках
display(final_ab_participants.query('user_id == "001064FEAAB631A1"'))
display(final_ab_participants.query('user_id == "003B6786B4FF5B03"'))


print('Всего пользователей БЫЛО', users['user_id'].nunique())

print(users.groupby('ab_test').agg({'user_id': 'nunique'}))

Всего пользователей БЫЛО 15664
                         user_id
ab_test                         
interface_eu_test          10565
recommender_system_test     6701


#удаляем дубликаты
list = dupl_user['user_id']
users = users.query('user_id not in @list')


print('Всего пользователей СТАЛО', users['user_id'].nunique())

print(users.groupby('ab_test').agg({'user_id': 'nunique'}))

Всего пользователей СТАЛО 14062
                         user_id
ab_test                         
interface_eu_test           8963
recommender_system_test     5099


#оставляем данные о тесте recommender_system_test
recommender_system_test = users.query('ab_test == "recommender_system_test"')
recommender_system_test['ab_test'].unique()
recommender_system_test.sample(5)


#смотрим распределение по группам
recommender_system_test.groupby('group').agg({'user_id': 'nunique'}).reset_index()


# Сгруппируем данные по пользователю и группе

dupl_group = recommender_system_test.groupby('user_id', as_index=False).agg({'ab_test': 'nunique'}).reset_index()
dupl_group.columns = ['user_id', 'group', 'count']
# Сделаем сред по количеству 
dupl_group = dupl_group.query('count > 1').sort_values(by='user_id')
print('Количество пользователей, которые участвовали в двух группах {} или {:.1%}'
      .format(dupl_group['user_id'].count(), dupl_group['user_id'].count()/final_ab_participants['user_id'].count()))

Количество пользователей, которые участвовали в двух группах 0 или 0.0%


recommender_system_test['group'].value_counts()

A    2903
B    2196
Name: group, dtype: int64


#присоединяем события
user_event = recommender_system_test.merge(final_ab_events, on = 'user_id', how = 'left')
display(user_event.head(), user_event.info())

<class 'pandas.core.frame.DataFrame'>
Int64Index: 21115 entries, 0 to 21114
Data columns (total 9 columns):
 #   Column      Non-Null Count  Dtype         
---  ------      --------------  -----         
 0   user_id     21115 non-null  object        
 1   group       21115 non-null  object        
 2   ab_test     21115 non-null  object        
 3   first_date  21115 non-null  datetime64[ns]
 4   region      21115 non-null  object        
 5   device      21115 non-null  object        
 6   event_dt    18804 non-null  datetime64[ns]
 7   event_name  18804 non-null  object        
 8   details     18804 non-null  float64       
dtypes: datetime64[ns](2), float64(1), object(6)
memory usage: 1.6+ MB

None


#удалим пользователей без событий, они нам без надобности
df_AB_testing = user_event.dropna(subset = ['event_name'])
len(user_event)

21115


# удаляем события, совершенные после лайфтайма
df_AB_testing = (df_AB_testing.drop(df_AB_testing[df_AB_testing['event_dt'] >= (df_AB_testing['first_date'] + pd.Timedelta(14, 'D'))].index))
df_AB_testing.shape

(18154, 9)


AB_testing_unique_users = df_AB_testing.groupby('group')['user_id'].agg(['count']).reset_index()
AB_testing_unique_users['%'] = ((AB_testing_unique_users['count']/AB_testing_unique_users['count'].sum())*100).round(1)
AB_testing_unique_users.sort_values(by='%', ascending=False)
AB_testing_unique_users.style.bar(subset=['%'], color='#ffe135')


# Сгруппируем данные
events_users_count = df_AB_testing.groupby(['user_id', 'group'], as_index=False).agg({'event_name' : 'count'})
events_users_count.columns = ['user_id', 'group', 'events']


events_users_count.query('group == ["A","B"] & events > 0')\
                                .groupby('group')['events']\
                                .plot(kind='hist', bins=len(events_users_count['events'].unique()), alpha=0.5,\
                                      figsize=(15,8))
plt.legend(['"группа "А"','"группа "B"'])
plt.xlabel('Количество событий')
plt.ylabel('Количество пользователей')
plt.title('Гистограмма распределения количества событий на одного пользователя')
plt.show()


print('В среднем на пользователя приходится %d событий' % (df_AB_testing['user_id'].value_counts().mean()))
print('По медиане на пользователя приходится %d событий' % (df_AB_testing['user_id'].value_counts().median()))
print('По моде на пользователя приходится %d событий' % (df_AB_testing['user_id'].value_counts().mode()))

В среднем на пользователя приходится 6 событий
По медиане на пользователя приходится 6 событий
По моде на пользователя приходится 6 событий


#смотрим описательную статистику распределения событий в группе А
df_AB_testing.query('group == "A"').groupby('user_id')['event_name'].count().describe()

count    2082.000000
mean        6.887608
std         3.824835
min         1.000000
25%         4.000000
50%         6.000000
75%         9.000000
max        24.000000
Name: event_name, dtype: float64


#смотрим описательную статистику распределения событий в группе B
df_AB_testing.query('group == "B"').groupby('user_id')['event_name'].count().describe()

count    706.000000
mean       5.402266
std        3.256364
min        1.000000
25%        3.000000
50%        4.000000
75%        6.000000
max       24.000000
Name: event_name, dtype: float64


#распределение количества участников по группам
df_AB_testing.groupby('group')['user_id'].nunique()

group
A    2082
B     706
Name: user_id, dtype: int64


# Добавим в датафрэйм столбец с датой
df_AB_testing['event_day'] = df_AB_testing['event_dt'].dt.date
df_AB_testing.sample(5)


# Посчитаем кол-во событий по дням
df_AB_testing['event_day'].value_counts()

2020-12-21    1854
2020-12-20    1442
2020-12-19    1408
2020-12-18    1189
2020-12-22    1137
2020-12-17    1136
2020-12-16    1101
2020-12-14    1040
2020-12-15    1008
2020-12-23     867
2020-12-24     723
2020-12-09     569
2020-12-25     540
2020-12-07     524
2020-12-27     468
2020-12-10     461
2020-12-26     461
2020-12-08     450
2020-12-12     436
2020-12-11     404
2020-12-13     368
2020-12-28     312
2020-12-29     256
Name: event_day, dtype: int64


df_AB_testing_daily = df_AB_testing.groupby(['event_day', 'group'])\
                                   .agg({'event_name':'count'})\
                                   .reset_index()
df_AB_testing_daily.head(30)


# Построим график

fig = px.bar(df_AB_testing_daily, x="event_day", y= 'event_name', color="group", title="Распределение событий по группам в разрезе дней",\
             #text_auto=True, 
             pattern_shape_sequence=["+"],\
             labels= {'event_day': 'Дата', 'event_name': 'Количество событий'},
             width=1000, # указываем размеры графика
             height=500)

fig.show()


# Сделаем срез по группам

group_A = df_AB_testing.query('group == "A"')
group_B = df_AB_testing.query('group == "B"')


# Сгруппируем события группы "А" по дням 
group_A.pivot_table(index='event_day', values='user_id',columns='event_name',aggfunc='count')\
       .plot.bar(stacked=True,figsize=(12,6))
plt.title("Группа A")
plt.show()


# Сгруппируем события группы "B" по дням
group_B.pivot_table(index='event_day', values='user_id',columns='event_name',aggfunc='count')\
       .plot.bar(stacked=True,figsize=(12,6))
plt.title("Группа B")
plt.show()


# Сгруппируем данные по событиям
steps = df_AB_testing.groupby('event_name').agg({'event_name': ['count'], 'user_id': ['nunique'] }).reset_index()
steps.columns = ('event_name', "count", 'users')

# добавим столбец с конверсией
start= steps.loc[0,'users']
steps['Конверсия'] = round(steps['users']/start*100, 1)
# Посчитаем конверсию от этапа к этапу
steps['Конверсия в шаг %'] = round(steps['users']/steps['users'].shift()*100, 1)
#добавим вручную первое значение stage_conversion
steps.loc[0, 'Конверсия в шаг %'] = round(steps.loc[0,'users']/start*100, 1)
steps = steps.sort_values(by='count', ascending=False)
steps


#построим воронку с процентом перехода на каждый этап относительно начального 
fig = go.Figure(go.Funnel(
    x = steps['count'], 
    y = steps['event_name'],
    textinfo = "value+percent previous+percent initial"))
fig.update_layout(title='Этапы воронки продаж', title_x = 0.55)
fig.show();


conver_group = df_AB_testing.pivot_table(index='event_name', columns='group', values='user_id', aggfunc='nunique').reset_index()
conver_group= conver_group.replace({'event_name':{'login':'1_регистрация', 'product_page':'2_просмотр карточек товара',\
                                                     'product_cart':'3_просмотр корзины','purchase':'4_покупка'}})
conver_group = conver_group.sort_values(by='event_name')
conver_group


funnel_A = (group_A.groupby('event_name')['user_id'].nunique().sort_values(ascending=False).to_frame().reset_index()
              .rename(columns={'user_id': 'total_users'}))
funnel_A['step'] = pd.Series([0, 1, 3, 2])
funnel_A = funnel_A.sort_values(by='step', ascending=True)


funnel_B = (group_B.groupby('event_name')['user_id'].nunique().sort_values(ascending=False).to_frame().reset_index()
              .rename(columns={'user_id': 'total_users'}))
funnel_B['step'] = pd.Series([0, 1, 3, 2])
funnel_B = funnel_B.sort_values(by='step', ascending=True)
funnel_B


#Построим Stacked Funnel Plot with go.Funnel

fig = go.Figure()
fig.add_trace(go.Funnel(
    name = 'group_A',
    y = funnel_A['event_name'],
    x = funnel_A['total_users'],
    textinfo = "value+percent initial"))
fig.update_layout(title='Воронка продаж группы "А" и группы "В"', title_x = 0.55)

fig.add_trace(go.Funnel(
    name = 'group_B',
    orientation = "h",
    y = funnel_B['event_name'],
    x = funnel_B['total_users'],
    textposition = "inside",
    textinfo = "value+percent initial"))

fig.show()


user_event = df_AB_testing.pivot_table(index = 'group', columns = 'event_name', values = 'user_id',
                                       aggfunc = 'nunique').reset_index()
user_events = user_event.set_index(user_event.columns[0])
user_events


# Напишем функцию

def st_test(pA_ev, pB_ev, pA_us, pB_us): 
    # пропорция успехов в первой группе:
    pA = pA_ev / pA_us
    # пропорция успехов во второй группе:
    pB = pB_ev / pB_us 
    # пропорция успехов в комбинированном датасете:
    p_combined = (pA_ev + pB_ev) / (pA_us + pB_us)
    # разница пропорций в датасетах
    difference = pA - pB
    z_value = difference / mth.sqrt(p_combined * (1 - p_combined) * (1 / pA_us + 1 / pB_us))
    # задаем стандартное нормальное распределение (среднее 0, ст.отклонение 1)
    distr = st.norm(0, 1)
    p_value = (1 - distr.cdf(abs(z_value))) * 2

    return p_value


# Укажем значения по группам А и В в p-value
p_value = st_test(2082, 705, user_events.loc['A'].sum(), user_events.loc['B'].sum())
print('p-значение: ',"{0:.3f}".format(p_value))

alpha = .05 
if (p_value < alpha):
    print("Отвергаем нулевую гипотезу: между долями есть значимая разница")
else:
    print("Не получилось отвергнуть нулевую гипотезу, нет оснований считать доли разными")

p-значение:  0.036
Отвергаем нулевую гипотезу: между долями есть значимая разница


total_users = df_AB_testing.groupby('group')['user_id'].nunique()
total_users

group
A    2082
B     706
Name: user_id, dtype: int64


conver_group = conver_group.drop(0, 0).reset_index(drop=True)
conver_group


#напишем функцию для проведения А/В теста. В качестве аргумента функции будем передовать названия сравниваемых групп
def stat_test(group1, group2):
    for i in conver_group.index:
        alpha = .05/len(conver_group) # критический уровень статистической значимости c поправкой Бонферрони


        successes = np.array([conver_group[group1][i],conver_group[group2][i]])
        trials = np.array([total_users[group1], total_users[group2]])

# пропорция успехов в первой группе:
        p1 = successes[0]/trials[0]

# пропорция успехов во второй группе:
        p2 = successes[1]/trials[1]

# пропорция успехов в комбинированном датасете:
        p_combined = (successes[0] + successes[1]) / (trials[0] + trials[1])

# разница пропорций в датасетах
        difference = p1 - p2 

# считаем статистику в ст.отклонениях стандартного нормального распределения
        z_value = difference / mth.sqrt(p_combined * (1 - p_combined) * (1/trials[0] + 1/trials[1]))

# задаем стандартное нормальное распределение (среднее 0, ст.отклонение 1)
        distr = st.norm(0, 1)  

        p_value = (1 - distr.cdf(abs(z_value))) * 2
        print('Событие: ', conver_group['event_name'][i])
        print('p-значение: ', p_value)

        if p_value < alpha:
            print('Отвергаем нулевую гипотезу: между долями есть значимая разница')
            print()
        else:
            print('Не получилось отвергнуть нулевую гипотезу, нет оснований считать доли разными')
            print()


stat_test('A', 'B')

Событие:  2_просмотр карточек товара
p-значение:  1.5371909704686715e-05
Отвергаем нулевую гипотезу: между долями есть значимая разница

Событие:  3_просмотр корзины
p-значение:  0.1766337419130104
Не получилось отвергнуть нулевую гипотезу, нет оснований считать доли разными

Событие:  4_покупка
p-значение:  0.10281767567786759
Не получилось отвергнуть нулевую гипотезу, нет оснований считать доли разными

	user_id	group	ab_test
0	D1ABA3E2887B6A73	A	recommender_system_test
1	A7A3664BD6242119	A	recommender_system_test
2	DABC14FDDFADD29E	A	recommender_system_test
3	04988C5DF189632E	A	recommender_system_test
4	482F14783456D21B	B	recommender_system_test
...	...	...	...
18263	1D302F8688B91781	B	interface_eu_test
18264	3DE51B726983B657	A	interface_eu_test
18265	F501F79D332BE86C	A	interface_eu_test
18266	63FBE257B05F2245	A	interface_eu_test
18267	79F9ABFB029CF724	B	interface_eu_test

	user_id	event_dt	event_name	details
0	E1BDDCE0DAFA2679	2020-12-07 20:22:03	purchase	99.99
1	7B6452F081F49504	2020-12-07 09:22:53	purchase	9.99
2	9CD9F34546DF254C	2020-12-07 12:59:29	purchase	4.99
3	96F27A054B191457	2020-12-07 04:02:40	purchase	4.99
4	1FD7660FDF94CA1F	2020-12-07 10:15:09	purchase	4.99
...	...	...	...	...
440312	245E85F65C358E08	2020-12-30 19:35:55	login	NaN
440313	9385A108F5A0A7A7	2020-12-30 10:54:15	login	NaN
440314	DB650B7559AC6EAC	2020-12-30 10:59:09	login	NaN
440315	F80C9BDDEA02E53C	2020-12-30 09:53:39	login	NaN
440316	7AEC61159B672CC5	2020-12-30 11:36:13	login	NaN

	name	regions	start_dt	finish_dt
0	Christmas&New Year Promo	EU, N.America	2020-12-25	2021-01-03
1	St. Valentine's Day Giveaway	EU, CIS, APAC, N.America	2020-02-14	2020-02-16
2	St. Patric's Day Promo	EU, N.America	2020-03-17	2020-03-19
3	Easter Promo	EU, CIS, APAC, N.America	2020-04-12	2020-04-19
4	4th of July Promo	N.America	2020-07-04	2020-07-11
5	Black Friday Ads Campaign	EU, CIS, APAC, N.America	2020-11-26	2020-12-01
6	Chinese New Year Promo	APAC	2020-01-25	2020-02-07
7	Labor day (May 1st) Ads Campaign	EU, CIS, APAC	2020-05-01	2020-05-03
8	International Women's Day Promo	EU, CIS, APAC	2020-03-08	2020-03-10
9	Victory Day CIS (May 9th) Event	CIS	2020-05-09	2020-05-11
10	CIS New Year Gift Lottery	CIS	2020-12-30	2021-01-07
11	Dragon Boat Festival Giveaway	APAC	2020-06-25	2020-07-01
12	Single's Day Gift Promo	APAC	2020-11-11	2020-11-12
13	Chinese Moon Festival	APAC	2020-10-01	2020-10-07

	user_id	first_date	region	device
0	D72A72121175D8BE	2020-12-07	EU	PC
1	F1C668619DFE6E65	2020-12-07	N.America	Android
2	2E1BF1D4C37EA01F	2020-12-07	EU	PC
3	50734A22C0C63768	2020-12-07	EU	iPhone
4	E1BDDCE0DAFA2679	2020-12-07	N.America	iPhone
...	...	...	...	...
61728	1DB53B933257165D	2020-12-20	EU	Android
61729	538643EB4527ED03	2020-12-20	EU	Mac
61730	7ADEE837D5D8CBBD	2020-12-20	EU	PC
61731	1C7D23927835213F	2020-12-20	EU	iPhone
61732	8F04273BB2860229	2020-12-20	EU	Android

	name	regions	start_dt	finish_dt
0	Christmas&New Year Promo	EU, N.America	2020-12-25	2021-01-03
1	St. Valentine's Day Giveaway	EU, CIS, APAC, N.America	2020-02-14	2020-02-16
2	St. Patric's Day Promo	EU, N.America	2020-03-17	2020-03-19
3	Easter Promo	EU, CIS, APAC, N.America	2020-04-12	2020-04-19
4	4th of July Promo	N.America	2020-07-04	2020-07-11

Описание данных и задачи¶

Выполнение проекта¶

Изучение входных данных¶

Откроем файлы¶

Предобработка данных¶

Проверка типов данных¶

Проверим дубликаты и пропуски¶

Анализ данных (EDA)¶

Оценка корректности проведения теста¶

Распределение количества событий на пользователя в выборках¶

Распределение количество событий по дням¶

Изменение конверсии воронки в выборках на разных этапах¶

Особенности данных перед А/В-тестирование¶

Оценка результатов А/В-тестирования¶

Результаты А/В-тестирования¶

Проверка статистической разницы долей z-критериев¶

Общий вывод по этапу исследовательского анализа данных и по проведённой оценке результатов A/B-тестирования. Заключение о корректности проведения теста¶

	count	unique	top	freq
user_id	61733	61733	D72A72121175D8BE	1
first_date	61733	17	2020-12-21	6290
region	61733	4	EU	46270
device	61733	4	Android	27520

	count	unique	top	freq
user_id	18268	16666	0FDFDA0B2DEC2D91	2
group	18268	2	A	9655
ab_test	18268	2	interface_eu_test	11567

	ab_test	group	user_id
0	interface_eu_test	A	5831
1	interface_eu_test	B	5736
2	recommender_system_test	A	3824
3	recommender_system_test	B	2877

	user_id	group	ab_test
235	001064FEAAB631A1	B	recommender_system_test
17892	001064FEAAB631A1	B	interface_eu_test

	user_id	group	ab_test
3156	003B6786B4FF5B03	A	recommender_system_test
8143	003B6786B4FF5B03	A	interface_eu_test

	user_id	group	ab_test	first_date	region	device
1808	7B646640B70CCFF4	A	recommender_system_test	2020-12-12	EU	Android
5061	E659A40ADD2D4E31	B	recommender_system_test	2020-12-21	EU	PC
1554	6F1E79FE8F5795CF	B	recommender_system_test	2020-12-14	EU	Android
2151	E53E3F40AE9433F9	B	recommender_system_test	2020-12-19	EU	Android
2726	4F8F5E43B8BD003D	A	recommender_system_test	2020-12-12	EU	Android

	user_id	group	ab_test	first_date	region	device	event_dt	event_name	event_day
4597	D493E891D8F64BBC	A	recommender_system_test	2020-12-14	EU	Android	2020-12-22 02:30:08	login	2020-12-22
7947	0DA942E5D1BB9A1F	A	recommender_system_test	2020-12-16	EU	Mac	2020-12-22 06:48:37	product_page	2020-12-22
15867	8CB19D3BF05472EB	A	recommender_system_test	2020-12-19	EU	Mac	2020-12-19 21:22:07	login	2020-12-19
18823	9073CEFFB95784BA	A	recommender_system_test	2020-12-08	EU	Mac	2020-12-09 19:01:05	login	2020-12-09
5124	796235FF6E88D357	A	recommender_system_test	2020-12-07	EU	Android	2020-12-18 16:34:45	login	2020-12-18

	event_name	count	users	Конверсия	Конверсия в шаг %
0	login	8194	2787	100.0	100.0
2	product_page	5108	1757	63.0	212.7
1	product_cart	2446	826	29.6	29.6
3	purchase	2406	850	30.5	48.4

group	event_name	A	B
0	1_регистрация	2082	705
2	2_просмотр карточек товара	1360	397
1	3_просмотр корзины	631	195
3	4_покупка	652	198

	group	count	%
0	A	14340	79.000000
1	B	3814	21.000000